微软推出“思维算法(AoT)”为AI注入类似人类思考的推理能力
作者 / Jose Antonio Lanz
编译 / flumen,Centreless
一种新技术将人类认知的力量与算法逻辑相结合。
科技巨头微软推出了一种名为“思维算法”(AoT,Algorithm of Thoughts)的新人工智能训练方法,旨在使ChatGPT等大语言模型的推理能力更高效、更人性化。这种新方法被看作是微软自然的举动。
微软对人工智能进行了大量投资,尤其是在OpenAI——DALL-E、ChatGPT和强大的GPT语言模型的创建者方面。
根据一篇发表的研究论文,微软表示,AoT技术是一种潜在的游戏规则改变者,因为它“引导语言模型通过一条更精简的解决问题的道路”。这种新颖的方法利用了“上下文学习”,使模型能够以有组织的方式系统地探索不同的解决方案。
结果如何?
更快、更少的资源密集型解决问题
“我们的技术优于以前的单查询方法,并且与最近采用广泛树搜索的多查询方法相当,”该论文指出。“有趣的是,我们的结果表明,用算法指导模型可以使性能超过算法本身。
研究人员声称,当这项技术优化搜索过程时,该模型获得了改进的“直觉”。
人-算法混合?
AoT 方法解决了当前上下文学习技术的局限性,例如“思维链”(CoT,Chain-of-Thought)方法。CoT 有时会提供不正确的中间步骤,而 AoT 使用算法示例指导模型以获得更可靠的结果。
AoT 从人类和机器中汲取灵感,以提高生成式 AI 模型的性能。虽然人类擅长直觉认知,但算法以其有组织、详尽的探索而闻名。该研究论文称,思维算法旨在“融合这些双重方面,以增强LLM中的推理能力”。
Microsoft说,这种混合技术使模型能够克服人类工作记忆的限制,从而可以更全面地分析想法。
与CoT的线性推理或“思想树”(ToT,Tree of Thoughts)技术不同,AoT被允许灵活地考虑子问题的不同选项,以最少的提示保持有效性。它还可与外部树搜索工具相媲美,有效地平衡成本和计算。
Algorithm of Thoughts versus other AI reasoning methods. Image: Microsoft
总体而言,AoT代表了从监督学习到集成搜索过程本身的转变。通过改进提示工程,研究人员认为这种方法可以使模型有效地解决复杂的现实世界问题,同时减少其碳影响。
鉴于其大量的人工智能投资,Microsoft似乎有能力将AoT整合到GPT-4等先进系统中。虽然这具有挑战性,但让语言模型以这种更人性化的方式“思考”可能是变革性的。
*添加主编微信保持联系或入群与同行交流~
(长河:oneflumen,备注“公众号”)
点“在看”分享给更多好友